Vùng đất này ban đầu được gọi là Prey Nokor theo tiếng Khmer của người dân bản địa,[11] có nghĩa là "thành trong rừng". Vì sự sụp đổ của đế chế Khmer, vùng Nam Bộ trở thành đất vô chủ, về sau đã sáp nhập vào Đại Việt nhờ công cuộc khai phá miền Nam của chúa Nguyễn. Năm 1698, Nguyễn Hữu Cảnh cho lập huyện Tân Bình thuộc phủ Gia Định, đánh dấu sự ra đời thành phố. Phủ Gia Định khi đó bao gồm Sài Gòn và các tỉnh thành xung quanh hiện nay (Tây Ninh, Bình Dương...), còn huyện Tân Bình là chỉ vùng đất Sài Gòn.[12]

Địa danh Sài Gòn có trên 300 năm và từng được dùng để chỉ một khu vực với diện tích khoảng 1 km² (Chợ Lớn) có đông người Hoa sinh sống trong thế kỷ 18. Địa bàn đó gần tương ứng với khu Chợ Lớn ngày nay.[12] Năm 1747, theo danh mục các họ đạo trong Launay, Histoire de la Mission Cochinchine, có ghi chép "Rai Gon Thong" (Sài Gòn Thượng) và "Rai Gon Hạ" (Sài Gòn Hạ). Theo Phủ biên tạp lục của Lê Quý Đôn viết năm 1776, năm 1674, Thống suất Nguyễn Dương Lâm vâng lệnh chúa Nguyễn đánh Cao Miên và phá vỡ "Lũy Sài Gòn" (theo Hán Nho viết là "Sài Côn").[11] Đây là lần đầu tiên chữ "Sài Gòn" xuất hiện trong tài liệu Việt Nam. Vì thiếu chữ viết nên chữ Hán "Côn" được dùng thế cho "Gòn". Nếu đọc theo chữ Nôm là "Gòn", còn đọc theo chữ Hán thì là "Côn". Theo phiên âm Hán-Việt thì Sài Gòn còn được gọi là Tây Cống.[13] Sau đó, danh xưng Sài Gòn được dùng để chỉ các khu vực nằm trong "lũy Lão Cầm" (năm 1700), "lũy Hoa Phong" (năm 1731) và "lũy Bán Bích" (năm 1772), chỉ với diện tích 5 km². Ngoài ra theo một số nhà nghiên cứu thì Thụ Nại cũng từng là tên gọi của vùng đất Sài Gòn xưa trước khi Nguyễn Hữu Cảnh đến khai phá.[12][14]

Khi Pháp vào Đông Dương, để phục vụ công cuộc khai thác thuộc địa, Thành phố Sài Gòn được thành lập và nhanh chóng phát triển, trở thành một trong hai đô thị quan trọng nhất Việt Nam. Địa giới Sài Gòn lúc này bao gồm vùng đất Sài Gòn và Bến Nghé cũ. Sài Gòn cũng là thủ đô của Liên bang Đông Dương giai đoạn 1887–1901 (về sau, Pháp chuyển thủ đô Liên bang Đông Dương ra Hà Nội). Năm 1931 Khu Sài Gòn - Chợ Lớn được thành lập, bao gồm Thành phố Sài Gòn và Thành phố Chợ Lớn. Năm 1941 Chợ Lớn được sáp nhập vào Sài Gòn. Năm 1949, Sài Gòn trở thành thủ đô của Quốc gia Việt Nam, một chế độ liên minh với Pháp trong thời kỳ chiến tranh Đông Dương, và sau này là thủ đô của Việt Nam Cộng hòa (chế độ kế tục Quốc gia Việt Nam). Kể từ đó, Sài Gòn được xem là thủ đô và trở thành một trong những đô thị quan trọng nhất của miền Nam Việt Nam sau khi bị chia cắt vào năm 1954.

Sau khi Việt Nam Cộng hòa sụp đổ trong sự kiện 30 tháng 4 năm 1975, Cộng hòa Miền Nam Việt Nam tiếp quản chính quyền và quyết định hợp nhất Đô thành Sài Gòn và tỉnh Gia Định thành Thành phố Sài Gòn – Gia Định. Ngày 2 tháng 7 năm 1976, Việt Nam tái thống nhất và Quốc hội nước Việt Nam thống nhất quyết định đổi tên "Sài Gòn – Gia Định" thành "Thành phố Hồ Chí Minh", theo tên Chủ tịch nước đầu tiên của Việt Nam Dân chủ Cộng hòa.

Hiện nay trong văn bản hành chính thì thành phố luôn được gọi đầy đủ là "Thành phố Hồ Chí Minh" (viết tắt là "Tp.HCM") thay vì chỉ gọi "Hồ Chí Minh", để tránh nhầm lẫn với chủ tịch Hồ Chí Minh. Tương tự với tiếng Anh là "Ho Chi Minh city" (viết tắt là "HCMC"). Tên "Sài Gòn" vẫn được người Việt Nam sử dụng thường xuyên vì sự ngắn gọn.